Docteure en sciences juridiques de l’Institut universitaire européen, chercheuse FNRS au centre de Recherche en Information, droit et Société de l’université de Namur, Antoinette Rouvroy était présente à la conférence USI 2024. Next en a profité pour lui demander comment l’expansion des systèmes d’intelligence artificielle modifiait l’espace public et politique.

> Le mois dernier, la présidente de Signal nous expliquait qu’en s’appuyant sur une collecte toujours croissante de données, l’expansion de l’intelligence artificielle n’était qu’une extension de la surveillance de masse. Auprès de Philosophie Magazine, il y a quelques mois, vous-même expliquiez que malgré ces collectes, la société numérique n’était pas une société de surveillance. Comment expliquez-vous ce paradoxe ?

Quand on parle de surveillance, le mot lui-même évoque la veillance, la vision. Or le traitement des données massives contourne cela. L’enjeu ne passe plus par le regard, déjà.

Les théoriciens de la surveillance l’ont aussi pensée comme une manière de faire en sorte que les individus se conforment d’avance à une norme. On voit ça chez Michel Foucault, qui reprend le panoptique de Bentham : l’idée est que, se sachant surveillés, les individus adoptent une sorte de conformisme en anticipant ce qui est attendu d’eux, et ce faisant, s’y assujettissent. Chez Foucault et Bentham, la réalité de la surveillance importe peu, puisque c’est l’architecture qui fait penser aux gens qu’ils sont surveillés : elle suffit à produire une forme d’autodiscipline, d’autocorrection, voire d’autocensure.

Mon hypothèse est que la gouvernementalité algorithmique, telle qu’on la voit se développer actuellement, n’a plus du tout la même fonction. L’enjeu n’est plus de produire des normes, ni de se reposer sur elles ou de les faire incarner par des comportements individuels, mais de capitaliser sur ce qui paraît le moins gouvernable des comportements.

Un exemple en marketing politique ou commercial est l’usage des algorithmes qui collectent les comportements sur les réseaux sociaux : ces derniers ne servent pas à interpréter l’individu, mais des fragments infra-personnels de leurs actes, des éléments qui relèvent presque de l’ordre des phéromones numériques. Ce qui compte, ce n’est plus le contenu lui-même, mais le nombre de contacts que vous avez avec des gens, qui eux-mêmes suivent telles figures d’extrême-droite, d’extrême-gauche ou d’extrême-centre, ou qui manifestent un certain mécontentement…

> En quoi cela fait-il évoluer notre rapport aux normes ?

Ce qui intéresse, désormais, ce sont plus les signaux que les signes. C’est la masse de signaux émis (personnes suivies, retweets, réponses, etc) plus que la signification de chacun d’eux. Et ces signaux ne sont même plus intéressants en tant que reliés à un individu, mais en tant que reliés à un profil, c’est-à-dire à un modèle tout à fait impersonnel créé à échelle industrielle. C’est ce profil qui est censé être prédictif, ou au moins indicatif de comportements futurs.

Cette gouvernementalité algorithmique revient ensuite vers le « donneur d’ordre » algorithmique. Ce retour ne se fait pas sous forme de savoir, qui indiquerait, par exemple, que « les gens appartenant à telle classe socioprofessionnelle voteraient plutôt comme ci ou comme ça », mais sous la forme d’alertes. Ça lui revient sous forme d’injonctions à réagir, sur le mode réflexe, en incitant à envoyer tel message à tel type de profil, par exemple.

Pour ceux que l’on appelle de manière très abstraite « les gouvernants », cela génère une manière de réagir sur un mode éminemment agile à ce qui relève de l’ingouvernable, c’est-à-dire du réel. C’est une tout autre manière d’intervenir dans le monde, de produire la réalité. Les individus y disparaissent : ils sont fragmentés en une myriade de données ou de profils dont aucun ne les représente.

> Ce profilage, n’est-ce pas ce qui doit permettre de trouver du sens dans les grandes masses de données ?

Ces « clusterings » de données proposent des regroupements qui ne correspondent à aucune réalité socialement éprouvée. Ça prive les individus, les sujets et les groupes de toute possibilité de mobilisation collective contre une norme qui n’en est plus une.

Dans la gouvernementalité algorithmique, on parle d'un ensemble de métriques jamais fixées dont le mouvement dépend du comportement de toutes les autres. Ceci explique qu’on n’ait pas du tout affaire à l’individu de la société de surveillance, qui se subjectivise en se soumettant à une norme préconçue. On a plutôt affaire à des individus de plus en plus recombinants : eux aussi sont émancipés de la norme, sauf qu’ils deviennent assoiffés de crédit.

> Qu’entendez-vous par crédit ?

Le fait d’attirer de l’audience, d’être bien noté, etc. C’est ce qui met le réflexe juridique de protection des données, protection de la vie privée un peu en porte-à-faux : au fond, les gens ne craignent pas d’être trop visibles, mais de l’être insuffisamment. Ils cherchent l’audience.

Cela pousse le pouvoir à se reconfigurer d’une drôle de manière : pour obtenir et garder une forme de pouvoir, nous nous retrouvons dans une compétition radicale à l’échelle du signal, du like, de l’étoile qui récompense le chauffeur Uber… Tout cela pour occuper un nœud dans le réseau. C’est le phénomène de l’influenceur. C’est l'un des ingrédients qui explique l’émergence de figures comme Donald Trump, l’attractivité de figures fascistes…

> Parce qu’en clivant, ils permettent d’attirer plus de vues, de likes, de partages ?

Oui, et parce que cela crée des phénomènes d’allégeance. Pourquoi essaie-t-on d’être dans le réseau d’une personne qui elle-même a de l’influence ? Parce que l’influence ruisselle. Ce sont les effets de réseau : plus vous êtes proche de quelqu’un qui a beaucoup de followers, plus vous en aurez vous-mêmes.

• • Elon Musk contribue à la surexposition des « super-diffuseurs » de désinformations sur Twitter

Une autre raison, plus liée à l’actualité politique récente, est l’émergence de figures quasiment anti-institutionnelles. Je pensais à Donad Trump, mais aussi à d’autres, qui incarnent une forme d’autoritarisme, très populistes aussi, et qui se comportent comme des marques. Trump, c'est une marque avant d’être un président : il ne cherche plus à convaincre sur la base d’arguments rationnels. C’est incroyable le nombre de gens qui ont voté, à l’époque, pour Donald Trump, contrairement à leurs intérêts.

Pourquoi ont-ils fait cela ? Parce que ces personnages-là, avec leurs alternative facts, incarnent le cynisme de la jouissance. C’est cette idée que lui peut tout, il est au-dessus de tout. Et finalement, la classe moyenne précarisée est dans une forme de ressentiment parce que les promesses du capitalisme, c'était précisément un surplus de jouissance. La promesse n’a jamais été tenue : ça n’est pas parce qu’on achète une nouvelle voiture que cela comble les désirs. Et lui simule la jouissance totale, cynique. Je pense que ce type de personnage produit une sorte d’appel d’air pour tous les déçus de la démocratie, du capitalisme, etc.

Ça n’est évidemment pas que la faute des réseaux sociaux. C'est multifactoriel, il y a plein d’autres causes, mais en voici une importante.

> Outre l’émergence de ce type de personnalités, qu’est-ce que le passage d’une logique de normes à une gouvernementalité algorithmique produit sur le fonctionnement démocratique ?

Cela pose plusieurs problèmes. D’abord, dans la mesure où l’on ne passe plus par du langage, ni par des normes subjectivement et collectivement repérables, la gouvernementalité n’est plus susceptible d’être contestée. Or la démocratie suppose, pour se construire et se maintenir, que le pouvoir ne soit détenu par personne, si ce n’est par le peuple, qui est divers et multiple.

Les théories de la justice – les critères de mérite, de besoin, de désirabilité, de dangerosité acceptable, etc – ne sont pas des concepts calculables. Ce sont des concepts dialectiques, c’est-à-dire que leur vérité n’arrive qu’après leur délibération et est toujours susceptible d’évoluer par leur remise en délibération : il n’y a pas de vérité ultime. La justice, c’est exactement pareil : ça n’est pas le résultat de calculs, c’est quelque chose de débattu, d’ouvert à une constante renégociation.

La démocratie, comme la justice, ne sont pas des concepts calculables. Une décision au Parlement, on sait que c’est un compromis, un artifice. Mais on sait aussi que parce que c’en est un, on peut le remettre en question.

Les algorithmes, eux, prétendent coller immédiatement au réel. Les données qu’ils traitent sont tenues pour être la seconde peau du monde, au fur et à mesure qu’il surgit. Au gré de ce processus, ces algorithmes se corrigent eux-mêmes – c’est du moins le fonctionnement du machine learning. Cela nous conduit à penser que la donnée, c’est le réel, surtout depuis qu’on parle de big data, de fast data, etc.

On oublie que tout cela n’est qu’une abstraction, de la technique. On a l’impression que les hiérarchies, les scores, les profilages qui émergent de ces processus sont plus objectifs, moins suspects que le réel lui-même. Face à un profilage algorithmique, il est très difficile de faire résonner l’expérience des gens.

> Quel effet politique ?

Cela crée une sorte d’absolutisation du pouvoir de ceux qui ont l’algorithme. Ça leur permet, parmi la multitude de possibles, d’optimiser. Mais optimiser, ça veut dire obtenir un seul résultat. Donc cela permet de choisir le possible le plus en adéquation avec l’intérêt – commercial, de notoriété, quel qu’il soit – de celui qui maîtrise l’algorithme.

On a donc de nouveaux souverains dont le pouvoir n’est plus ancré sur un territoire physique, ni articulé à une population d’être humains. Leur souveraineté porte sur la potentialité pure des masses de données qu’ils traitent, sur les espaces spéculatifs qu’ils sont capables de générer et par rapport auxquels ils peuvent agir par avance.

Ça ressemble au fonctionnement du trading à haute fréquence : la volatilité est indispensable au fonctionnement même de ce mode de trading. L’incertitude, ça n’est pas quelque chose qui se limite, mais qui étend à l’infini leurs capacités d’action. Dans un monde algorithmique, les gouvernants agissent comme des spéculateurs : l’enjeu n’est plus de gouverner, mais de réagir de manière agile et opportuniste. On vise la résilience plutôt que la prévention ou la précaution. Cela permet de continuer à tirer profit sans jamais rencontrer aucun obstacle, puisque toute entité susceptible d’objecter est métabolisée par le numérique.

Ce dont on parle, c’est la dernière recombinaison en date du capitalisme contre tout ce qui devrait le mettre en risque et le faire bifurquer vers un autre mode de production, d’organisation, etc. Cette gouvernementalité algorithmique immunise le capitalisme contre le sujet, la réalité organique et sa fragilité, le fait que les ressources soient épuisables, et contre le monde en ce qu’il a de complexe et qui requerrait une délibération.

Au lieu de ces urgences, on a cette sorte de promesse technosolutionniste de résolution dans la boîte noire algorithmique de toutes les complexités, de toutes les échelles, les diversités.

> L’Union européenne a tout de même tenté de réguler ce mouvement…

Oui, en laissant croire qu’à condition d’avoir des algorithmes fair, accountable, transparent (justes ou équitables, responsables, transparents), il n'y aurait plus de problèmes.

Cela vient d’une obsession que Claudia Aradau a appelée l’« AI common sense ». C’est cette idée que l’intelligence artificielle est là, que les algorithmes vont nous gouverner. Puisque c’est comme ça, il ne faudrait pas que nous les façonnions de manière à nous rendre mieux à même de faire notre travail en fonction des règles qui régissent chacun de nos domaines. Non, il faudrait adapter les modes de gouvernement et d’action à cette réalité : l’IA serait partout et il n’y aurait rien à faire.

Ça nous tombe dessus comme un second état de nature. En plus, il y a cette idée que la conversion à l’IA est aujourd’hui aussi importante que la conversion climatique. Dans les documents de l’Union européenne, on voit la transition numérique et la transition écologique ensemble, comme s’il était impossible de penser l’urgence écologique sans installer une transition algorithmique.

Il est hallucinant de lier les deux quand on pense au coût climatique de l’entraînement des modèles d’IA, au caractère insoutenable de ces technologies rapporté à l’écologie sociale, l’écologie environnementale et l’écologie psychique. Mais l’a priori, l’impensé dominant, aujourd’hui, c’est : il faut s’adapter, alors faisons en sorte que l’IA soit digne de confiance.

Mais la question qui n’est jamais posée, c'est : veut-on vraiment être gouverné par ces machines ? Cette question est même devenue impossible à poser, car elle va à l’encontre du principe d’innovation imposé progressivement, notamment sous l’impulsion du lobby European Risk Forum, qui rassemble les industries les plus toxiques et les plus polluantes, et auquel se sont jointes les industries numériques récemment.

Selon ce principe d’innovation, qui a été poussé pour faire le pendant au principe de précaution, avant d’adopter une réglementation européenne, il faudrait faire une évaluation du risque que cette loi poserait pour l’innovation. Ça n’a aucune base légale, mais ça pose un certain nombre de problèmes, ne serait-ce que du point de vue démocratique.

• • AGI, GPAI, modèles de fondation… de quoi on parle ?

> L’AI Act ne vous semble pas être à la hauteur des enjeux ?

Comment l’AI Act est-il pensé ? Sur le modèle des directives européennes sur les produits. Or l’IA, ce n’est pas un produit, c’est un mode d’ordonnancement du monde. On crée quatre niveaux de risque, très bien, mais la technologie est encore émergente : il est impossible de savoir ce qui correspond à tel ou tel risque, il faudrait tout monitorer en continu.

Un exemple : dans des pays où l’assurance santé universelle existe, utiliser un système pour détecter par avance les risques pour la santé et faire de la prévention peut être tout à fait favorable, aussi bien pour la santé des individus, que pour les finances publiques, etc. Utiliser le même genre de dispositif pour identifier les risques, les individus sujets à tel ou tel type de diabète, au cancer ou au burnout pose évidemment beaucoup plus de problèmes dans des pays où ces personnes doivent payer elles-mêmes. Dans ces cas-là, elles vont plutôt se voir attribuer un score de risque important, donc se voir proposer des prix rédhibitoires…

Une même technologie peut ne poser que peu de problèmes dans un régime vraiment démocratique, mais énormément dans un régime autoritaire. Or l’AI Act reconnaît seulement que l’intelligence artificielle serait bonne pour la croissance du peuple européen, quel que soit le contexte. Par ailleurs, le texte s’intéresse aux utilisateurs de ces systèmes. Or ces derniers ne sont pas les citoyens, ce sont les entreprises : les banques, les assurances, etc.

• • Le Parlement européen a formellement approuvé l’AI Act

Cela donne le sentiment qu’on pourrait avoir des intelligences artificielles vertueuses auxquelles on pourrait donner les clés de la cité, alors que c’est impossible d’avoir un algorithme purement vertueux. Approchons la question sous l’angle des biais. Chez les humains, les biais, c’est la condition de la survie : ça permet de faire le tri entre ce qui relève du fantasme et d’une réalité prudente — c’est ce qui pousse une femme à changer de trottoir quand, la nuit, elle voit un groupe d’hommes à la mine patibulaire. Ça peut être une erreur, mais ça peut sauver la vie. Les biais, c’est ce par quoi on apprend.

On ne peut pas éliminer les biais sans rapport au monde physique, sans savoir lesquels sont positifs, utiles, et lesquels ne le sont pas. Dans le monde algorithmique, vouloir corriger des biais, ça donne l’impression d’avoir des IA qui donneraient des décisions plus objectives, plus impartiales, etc. Même si l’on y parvenait, ce ne serait qu’une abstraction, puisqu’une machine ne traite que des données.

Prenons un exemple connu, celui de Predpol [programme de "prédiction" des risques qui a été utilisé à Los Angeles, ndlr] : si vous arriviez à libérer cette machine de tout biais, vous n’auriez encore rien résolu. Le croire, c’est un déni du caractère systémique des injustices, des disparités en termes de moyen qui existent dans la société.

> Si l’on tente de résumer, qu’est-ce qui vous inquiète dans le passage à une gouvernementalité algorithmique ?

À mon sens, les dynamiques hyperspéculatives que permettent les traitements de grandes masses de données sont des manières de dé-gouverner, c’est-à-dire de ne plus prendre de décision vis-à-vis de ce sur quoi on a besoin de prendre des décisions communes. La gouvernementalité algorithmique court-circuite les collectifs, l’élaboration de décisions partagées. Ce dont nous avons besoin de manière urgente, c'est d'infrastructures du commun.

En leur absence, le réalisme algorithmique pousse chacun à vouloir être reconnu comme exceptionnel, à ce que son environnement s’adapte à sa singularité, comme le font les réseaux sociaux. Mais je crois qu’il faut se réconcilier avec la moyenne, d’abord. Et puis voir que ce sont des stratégies extrêmement individualisantes : chacun, derrière son écran, est tout à fait seul.

Le réalisme algorithmique, à mon sens, est un art de ne pas changer le monde. Chacun essaie d’optimiser l’état de fait à son profit, mais on ne tente jamais de le dépasser. Pour dépasser l’état de fait, il faut être ouvert à ce qui n’a jamais eu lieu, et ça, aucune machine entraînée sur des données représentant le passé ne peut l’être.

C’est un enjeu générationnel aussi. Je suis vraiment partisane d'une critique qui ne soit pas fondée sur une nostalgie du passé, mais fondée sur l’avenir, sur la possibilité, pour ce qui n’a pas encore eu lieu, ce qui n’a pas encore laissé de trace, d’advenir. Or cela peut aussi bien correspondre à ce qui se trouve dans les angles morts de nos données actuelles, qu'à ce qui adviendra dans les générations futures.